生成式 AI 动画技术概述

• Stable Diffusion（在本地计算机上）
  

• Crayion

• Invokeai（使用SD）

• Enfugue（使用 SD）

• SkyBox AI - 生成 VR 360 度场景。

• Microsoft 映像创建器上的 DALL-E 3

• Leonardo AI - 用于处理生成图像 AI 的精致应用程序

• etc....

  插件和附加组件：

• Blender 中的 ComfyUI 节点

• Generative AI for Krita - 

• Hugging face spaces.

• MidJourney

• Runway

• DALL-E 3 on ChatGPT

• Adobe's FireFly

• RenderNet - using advanced SD

• etc...
  

 A1111 webui 中使用的工具:

• 用于参数插值动画（旅行）的小脚本：步骤、提示、种子。

• Deforum - 满足所有动画标清需求的最佳动力源，融合了上面列出的大部分技术。

• Parseq - Deforum 流行的视觉参数排序器。

• Deforum timeline helper-参数可视化和调度工具。

• Deforumation - 用于实时控制 Deforum 参数的 GUI，允许反应性调整和控制。

• TemporalKit - 采用 EBsynth 的一些原理与 SD 一起使用，以实现一致的视频风格化。

• SD-CN Animation - 允许一些混合风格化工作流程以及导致湍流运动的有趣的光流运动合成。

• TemporalNet -ControlNet 模型，旨在用于 Deforum 等其他工作流程，旨在提高时间一致性。

在 Google Colab 或 Jupyter 上运行：

• Stable WarpFusion - 高级视频风格化和动画的实验性代码工具包。

插件与扩展:

• Dream Textures for Blender

• Stabiliy Ai's Blender plugin

• Character bones that look like Openpose for Blender 

• Unreal Diffusion for Unreal Engine 5

• After-Diffusion for After effects (highly WIP atm)

• Stability AI 的动画 API

• Kaiber 的“Flipbook”模式 - 基于 Deforum 的代码，如其制作人员名单中所述。

• gooey.ai 上的 AI 动画生成器 - 在线运行 Deforum 的简化方式，提供一些免费积分。

 插件和附加组件：

• 用于 After Effects 的 Diffusee

• A1111、ComfyUI、StreamDiffusion 和 DotSimulate 的 TouchDesigner 的其他 API 组件 。

• Stable Video (SVD) - 来自 StabilityAI 的开源视频扩散模型。

• SVD ComfyUI 实现

• SVD temporal ControlNet

• MotionCtrl - 增强功能允许在各种视频模型中控制对象运动和摄像机轨迹。
  

• Emu video - Meta 生成视频模型的预览演示。

• Text 2 Video extension for A1111 webui 可与以下一起使用：

• VideoCrafter

• Zeroscope

 插件和附加组件：

• Pallaidium for Blender - 充满了跨图像、视频甚至音频领域的生成功能。

•  Hugging face spaces.

• Runway's Gen2

• Kaiber's "Motion" mode.

• Pika labs

AnimateDiff（适用于 SD v1.5）的实现在这方面处于领先地位：

• A1111 webui extension  AnimateDiff.

• AnimateDiff implementation in ComfyUI

• VisionCrafter - 用于 AnimatedDiff 实现和其他项目的 GUI 工具。

for SD XL:

• Hotshot-XL

多功能实现：

• Enfugue

Nothing as far as I know.

• ElevenLabs - 使用受到限制，但限制似乎每月刷新一次。

•  “Wav2Lip”A1111 WebUI 扩展 - 用于生成“唇形同步”动画的工具。似乎仅限于嘴部区域。
  

• “Text 2 Speech”可能不如ElevenLabs。

全脸动画，只有付费应用程序的试用版允许有限的免费访问。

面部动画（通常与语音合成捆绑在一起）：

D-ID

Heygen

Synesthesia

• Mootion
  

• Omni Animation

• Cascadeur - 动画助手，可通过最少的输入创建流畅的、基于物理的动画和姿势。

• ComfyUI MotionDiff - 将 MDM、MotionDiffuse 和 ReMoDiffuse 实现到 ComfyUI 中。

提供更多功能和扩展限制的免费工具的付费计划。

Blender Chat Companion 

（类似于 Blender Copilot）Blender 内部的 ChatGPT 实现，专门用于处理适当的任务。

使用付费的 ChatGPT API 令牌。

• Genmo - 承诺向“创造性通用智能”迈出一步，多步骤过程全部通过聊天界面控制。

• Blender Copilot -（类似于 Blender Chat Companion）Blender 内部的 ChatGPT 实现，专门用于处理适当的任务。使用付费的 ChatGPT API 令牌。